Ông sinh ngày 18 tháng 3 năm Kỷ Sửu (tức 17 tháng 4 năm 1889) tại làng Vĩnh Lợi, tổng Thạnh Hòa, tỉnh Bạc Liêu (nay thuộc Thị xã Bạc Liêu). Nguyên quán ông ở Triều Châu (Trung Quốc), ông nội ông là Cao Cần Thiệt, sang Việt Nam lập nghiệp tại ấp Vĩnh Hinh, làng Vĩnh Lợi, tổng Thạnh Hòa, phủ Ba Xuyên, tỉnh An Giang.[1] Bà nội ông là Trình Thục Giang, là con một phú hộ gốc Hoa tại vùng An Giang.

Cha ông là Cao Minh Thạnh, do có công chiêu dân khai phá, mở mang vùng rừng hoang, có uy tín với dân chúng nên được phong hàm Đốc phủ sứ. Mẹ ông là bà Tào Thị Súc (hay Xúc), người ấp An Trạch, cùng làng Vĩnh Lợi. Ông là con thứ 5 trong gia đình, theo phong tục miền Nam gọi là thứ Sáu.

Thuở nhỏ, ông được gia đình cho học bậc tiểu học tại Bạc Liêu, sau lên Sài Gòn theo học bậc trung học tại trường Chasseloup Laubat. Sau khi tốt nghiệp Tú tài năm 1910, ông tiếp tục theo học khóa 2 năm luật ở Sài Gòn, do Tòa án Sài Gòn mở. Tốt nghiệp, ông về làm thư ký kiêm thông dịch tại Ty Niết[2] ở Bạc Liêu.